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基于 非 归 一 化 直方 图 的 GrabCut 图 像 分 割 算法 改进 “ 
孔 显 ， 马 晓 珂 


(河南 大 学 计算 机 与 信息 工程 学 院 , 河南 开封 475000) 


摘 要 : 针对 GrabCut 算法 在 图 像 分 割 中 存在 迭代 求解 耗 时 长 、 分 割 结 果 欠 分 割 的 问题 ， 提 出 了 一 种 基于 非 归 一 化 
直方 图 改进 的 GrabCut 算法 。 在 保留 GrabCut 第 一 次 分 割 结果 的 基础 上 ， 通 过 非 归 一 化 直方 图 计算 像素 点 属于 前 景 
或 背景 的 方法 来 代替 高 斯 混合 模型 迭代 学 习 的 过 程 ;在 构图 过 程 中 引入 一 类 新 的 节点 Bin 进行 构图 以 提高 分 割 精度 。 
选取 MSRA1000 数据 集中 部 分 图 片 进行 实验 验证 , 结果 表明 该 算法 在 分 割 效 果 和 效率 上 都 有 明显 的 提升 ; 在 进行 背 
景 复杂 图 像 的 分 割 时 改进 算法 优势 更 加 明显 。 

关键 词 : GrabCut; 非 归 一 化 直方 图 ; 图 像 分 割 ; 高 斯 混合 模型 ; 能 量 函 数 
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Improvement of GrabCut image segmentation algorithm based on non-normalized histogram 


Kong Xian, Ma Xiaoke 
(School of Computer & Information Engineering, Henan University, Kaifeng Henan 47500, China) 


Abstract: : Aiming at the time efficiency issue and segmentation effect problem of GrabCut image segmentation algorithm, 
this paper proposes an improved GrabCut algorithm which based on non-normalized histogram. The results of the first 
segmentation of Grabcut are preserved, and in subsequent iterations learning process of Gaussian mixture model is replaced 
by the non-normalized histogram calculation of pixels belonging to foreground or background; A new type of node Bin is 
introduced in the composition step to compose the image to improve the segmentation precision. Experiment results on 
MSRA1000 data set indicate that the algorithm has a significant improvement in both segmentation effect and efficiency. 
The advantage of the improved algorithm is more obvious when the complex background image is being segmented. 

Key words: GrabCut; non-normalized histogram; image segmentation; Gaussian mixture model; energy function 


进行 改进 ; 文献 [13] 中 使 用 小 波 变 换 的 GrabCut 纹理 进行 图 


0 引言 像 分 割 。 
图 像 分 割 是 图 像 处 理 中 一 个 重要 的 阶段 ， 在 图 像 识别 、 GrabCut 算法 前 景 背景 交界 处 分 割 效 果 不 理 想 09， 分 割 


懂 人 
机 
间 


三 维 重 建 、 目 标 跟踪 等 领域 中 广泛 应 用 。 图 像 中 人 们 结果 在 一 定 程度 上 存在 图 像 欠 分 割 的 现象 ， 且 该 算法 通过 和 迭 
感 兴趣 的 区 域 称 为 目标 或 前 景 ， 区 域 称 为 背景 ， 图 像 分 。 代 学 习 优化 高 斯 混合 模型 ,迭代 学 习 过 程 会 花费 一 定 的 时 间 ， 
的 实质 就 是 将 图 像 中 的 目标 区 域 分 离 并 提取 出 来 。 目 前 ， 造成 图 像 分 割 时 间 效 率 不 高 。 为 解决 以 上 问题 ， 本 文 引 入 非 
像 分 割 算法 可 分 为 三 类 : 监督 的 图 像 分 割 方法 目 、 非 监督 ” 归 一 化 直方 图 计算 像素 的 类 别 ， 判 断 像素 属于 前 景 或 背景 ， 
图 像 分 割 方法 疡 、 交 互 式 图 像 分 割 方法 B。 交 互 式 图 像 分 ”代替 GrabCut 中 达 代 学 习 优 化 混合 高 斯 模型 的 过 程 ， 在 构图 
割 方法 是 借助 人 工交 互 操作 获取 到 包含 目标 的 区 域 ， 分 割 结 ”过程 中 ， 增 加 一 类 节点 用 来 标记 像素 所 属 的 类 别 ， 最 后 使 用 
果 较 为 准确 。 其 中 ，GrabCut 算法 的 交互 方式 便捷 内， 分 割 效 。 最 大 流 / 最 小 制 完 成 图 像 分 割 。 实 验 结果 表明 ， 本 文 算法 减少 
果 较 好 ， 成 为 图 像 分 割 领域 中 研究 的 热点 。 了 每 次 迭代 花费 的 时 间 ， 同 时 与 GrabCut 算法 相 比 在 达到 收 
Zahn5 最 早 将 图 论 的 概念 引入 图 像 分 割 领 域 ， 该 方法 将 。 ” 敛 时 迭代 次 数 更 少 ， 提 高 了 GrabCut 算法 的 时 间 效 率 和 分 割 
图 像 映射 为 带 权 值 的 图 ， 把 像素 作为 节点 ， 节 点 间 的 边 表示 。 ” 精度 。 
像素 间 的 关系 ， 用 权重 来 表示 像素 间 的 相关 程度 ， 最 后 使 用 1 G 二 
ee i 、 、 rabCut 算 ; 
最 大 流 /最 小 制 进行 图 的 分 市。 将 图 像 分 割 问题 转换 为 图 的 顶 
点 标注 问题 中。 基于 图 论 的 graph cuts 算法 中 是 2001 年 1.1 主要 思想 
Boykov 等 人 提出 的 ，2004 年 Rother 等 人 提出 交互 式 的 GrabGut 算法 是 把 图 像 中 的 所 有 像素 映射 为 图 论 中 的 
GrabCutt3l 彩 色 图 像 分 割 算法 , 均 属于 基于 图 论 原理 的 交互 式 。 ”S-T 网 络 ， 将 图 像 分 割 问 题 转 换 为 S-T 网 络 流 的 分 割 问题 。 
图 像 分 割 算法 中 的 经 典 算 法 。GrabCnut 算法 提出 之 后 ， 很 多 图 像 简 化 后 的 模型 结构 如 图 1 所 示 ，S 点 为 源 点 ， 对 应 为 前 
研究 人 员 针 对 GrabCut 算法 存在 的 不 足 作 出 改进 , 文献 [9,10] ” 景 终点 ; 工 点 为 汇 点 ， 对 应 背景 终点 。 由 图 1 可 知 ， 边 集 (对 
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采用 超 像 素 的 方法 对 图 像 进 行 预 处 理 ， 提 高 图 像 的 分 割 精 度 。 于 每 个 像素 点 ) 可 分 为 : 与 源 点 S 相连 的 边 、 与 汇 点 工 相连 的 
和 时 间 效 率 。 文 献 [11] 采 用 显著 性 预 处 理 提高 算法 的 分 割 性 ” 边 和 像素 点 间 相 连 的 边 。 每 条 边 上 的 权 值 能 反映 出 像素 点 属 
能 ， 文 献 [12] 中 使 用 贝 叶 斯 分 类 和 简单 线性 迭代 聚 类 对 算法 于 前 景 还 是 背景 以 及 相 邻 像素 点 间 的 颜色 差异 等 信息 ， 最 后 
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孔 显 ， 等: 基于 非 归 一 化 直方 图 的 GrabCut 图 像 分 割 算法 改进 


通过 


十 最 大 流 / 最 小 害 来 实现 图 像 的 分 割 。 


图 1 


S-T 网 络 模型 


Fig. 


1 S-Tnetwork model 


1.2 GrabCut 中 模型 的 构建 


在 GrabCut 算法 中 ， 定 义 了 一 个 Gibbs 能 量 函 数 : 


E(a,k,0,z)=U(a,k,0,7)+V(Q,7) (1) 
其 中 : U(@,k,6,z) 代表 区 域 数据 项 ，Y(%z) 函数 表示 能 量 函 
数 的 光滑 项 。 求解 能 量 函 数 E(a,k,6,z) 的 最 小 值 ， 就 使 得 图 像 


在 分 


割 时 花费 的 代价 最 小 。 


根据 高 斯 混合 模型 (Gaussian mixture model, GMM) 中 的 
分 量 k， 数 据 项 VU(&g,k,9,z) 可 以 写 为 
U(@,k,0,7)= >,D(0%,,k,,0,z,) 0O) 
D(%,,k,,0,z,)=—logp(z, |0,,k,0)—logA(%,,k,) (3) 
其 中 : PO) 是 高 斯 概率 分 布 ，x() 为 高 斯 混合 模型 样本 数 占 总 
体 样本 的 权重 系数 。 由 式 (3) 可 得 ， 数 据 项 也 可 表示 为 
a @) 
+ A(0 kb) Dk) [a Hk) 
式 (3)(4) 可 以 得 出 ， 高 斯 混合 模型 的 参数 模型 为 
0={z(@,k), 4(0,k), (oo (5) 


其 中 : zx(Q,k) 表示 高 
示 协 方差 ， 
型 的 分 量 数目 (k= 7,. 
Gibbs 
算 如 下 : 


V(@,z)=7 >》 [0@, #0, Jexp- Plz, -zl 
(mn)eC 


2 为 不 透明 度 (& =0、1)， 


函数 中 Y(%,z) 使 用 颜色 


其 中 : C 为 相 邻 的 像素 对 ,7 为 自 适 


斯 混合 系数 ，u(Q,k) 表示 均值 ，>(a,) 表 


参数 为 高 斯 混合 模 


kK) 


空间 中 的 欧 几 里 德 距离 计 


(6) 


型 的 表达 式 ， 只 需要 使 用 颜色 直方 图 去 


区 分 
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颜色 信息 ， 减 少 


了 算法 的 计算 量 。 因 此 能 够 提高 算法 的 执行 


对 


开始 


r- 一 一 "用 户 标记 


K- We 他 
高 斯 混合 模型 


v 
学 习 新 的 高 斯 混 
合 模型 
循环 迭代 J 


图 的 构建 
了 


根据 maxflow 分 割 


与 上 次 
迭代 结果 差 
值 乏 2% 


图 2 ” GrabCut 流程 图 
Fig.2 GrabCut flow chart 


效率 。 


于 式 (7)， 考 虑 当 颜色 直方 图 


Gs 和 G5 只 有 两 个 


分 布 时 ; 


设 定 一 种 黑白 分 布 的 情况 。 可 以 得 出 ， 当 黑 
情况 下 ， 式 (7) 中 炉 项 的 值 是 最 小 的 为 0， 随 着 颜色 的 
像 像素 分 配 ( 属 


制 开 的 
增多 ， 
正确 与 否 给 予 对 


比 吕 


™ 


通 


仍 可 以 通过 式 (7) 对 图 
应 惩罚 。 
过 对 式 (7) 的 变换 得 到 新 的 能 量 函 数 : 


E(S)= -Blos -0 


在 


pp : 


5S 为 前 景 k 


式 (8) 的 基础 上 增加 图 像 分 割 的 边 


E(S)=-pBles -好 | +ales| 


点 的 集合 ，3 


应 4 参数 ，B 为 常数 项 。 


1.3” GrabCut 算法 流程 


GrabCut 算法 分 割 图 像 的 步骤 如 图 
在 GrabCut 的 流程 


2 所 示 。 
1 断 图 像 分 割 


中 增加 了 一 个 


结果 是 


否 收敛 的 过 程 ， 


统一 的 标准 。 
2 ”改进 GrabCut 


2.1 能 量 模 型 的 构建 


首先 对 图 像 


表达 式 。 
过 程 复杂 。 


能 量 函 数 03 


E(S)= 


在 GrabCut 算法 使 用 的 能 量 函 数 中 ， 求 解 高 斯 
是 求解 能 量 函 数 的 关键 步骤 。 高 
前 景 和 背景 的 像素 点 遍 
次 计算 每 个 高 斯 分 量 所 占 
这 种 方法 计算 量 大 、 耗 时 长 ， 导 致 能 量 
为 了 解决 上 述 问题 ， 
， 其 表达 式 为 


目的 是 在 实验 部 分 进行 算法 对 比分 析 时 具有 


算法 


混合 模型 
斯 混合 模型 的 求解 过 程 是 
历 求解 各 个 高 斯 分 量 ， 其 
的 比重 ， 进 而 求解 高 斯 混合 模型 的 

函数 的 求解 
在 本 文 算法 中 引入 一 种 新 的 


S|-H(0s)+|S|:H(0)+|6S| (7) 


有 .FH . 
™ ; 


Gs 和 6 分别 为 


标 S 和 背景 8 的 直方 图 ，H0) 是 概率 


分 布 炉 函数 。 新 的 能 量 函 


数 不 需 要 迭代 优化 求解 高 斯 混合 模 


为 背景 点 的 集合 ， 


白 像素 本 和 办 


于 前 景 或 背景 


景 ) 


(8) 


界 项 得 到 


(9) 
90; 为 S$ 内 像 


素 的 概率 分 布 ,5 为 0 内 像素 的 概率 分 布 ,， 65 为 8 的 边界 。 


2.2 


图 结构 的 构建 
GrabCut 算法 在 进行 图 结构 的 构建 时 ， 


在 计算 概率 的 过 程 中 需要 判 


属 卫 


区 


出 


景 或 者 背景 的 概率 , 作为 像素 点 与 S、 


通过 计算 像素 点 
T 连接 的 权 值 。 


断 该 像素 点 属于 


的 第 几 个 
合 模型 


| 高 斯 分 量 ， 
的 表达 式 。 


再 进行 像素 点 的 统计 ， 


在 本 文 算法 中 引入 非 归 一 化 直方 图 进行 像素 


类 


甫 助 节 点 Bin， 对 应 为 图 像 中 像素 的 总 类 数目 


的 并 
点 


‘9 


像素 点 有 
像素 所 属 的 Bin 值 、 像 素 与 Bin 相连 的 权 值 、 
值 和 像素 点 与 S、T 连接 的 权 值 。 
的 表达 式 相 比 ， 新 
图 3 所 示 。 其 中 与 S、T 相连 的 边 权 值 i 


方式 如 
对 于 
常数 ， 


被 


与 


一 个 极 大 的 常数 。 


其 对 应 的 Bin09。 在 遍历 图 像 的 过 


高 斯 混合 模型 中 
最 终 计 算 [本 斯 混 


点 的 分 类 。 增 加 
， 使 每 个 
求解 每 个 
像素 点 间 的 权 


程 中 ， 


与 计算 高 


斯 混合 模型 复杂 


的 构图 方式 在 计算 上 更 为 


简单 。 新 的 构图 


标记 为 前 景 的 点 ， 与 $S 相连 ， 边 的 权 
与 下 相连 的 边 的 权 值 设 为 0。 对 于 
S 相连 ， 边 的 权 值 设 为 0， 与 T 相连 


Bin 值 的 计算 如 下 : 


设 定 为 固定 值 。 

值 设 为 一 个 极 大 
被 标记 为 背景 的 
的 边 的 权 值 设 为 


录用 定稿 孔 显 ， 等 : 
Bin= 0 mB (10) 
256*numBin 256 256 


其 中 : 0<numBin<255， 一 般 设 定 为 64。 将 像素 点 与 其 所 对 
应 的 Bin 节点 相连 接 , 相连 接 的 边 的 权 值 设置 为 一 个 固定 值 。 
对 构建 好 的 图 进行 最 大 流 / 最 小 审计 算 , 计算 后 得 到 权 值 
之 和 最 小 的 边 即 为 制 。 也 就 是 图 像 分 割 的 最 终结 果 。 本 文 引 
入 新 的 能 量 函 数 和 图 构建 的 方式 ， 省 去 了 求解 、 连 代 学 习 优 
化 高 斯 混合 模型 所 花费 的 大 量 时 间 ; 并 且 使 用 非 归 一 化 直方 
图 判断 像素 属于 前 景 或 背景 的 方法 ， 在 一 定 程度 上 解决 了 
GrabCut 算法 在 多 次 迭代 后 仍 处 于 从 分 割 状态 的 问题 。 


吗 | 融 尝 


Da 


图 3 改进 算法 


的 构建 


Fig.3 Map construction of improved algorithm 


2.3 改进 算法 的 流程 图 
本 文 算法 在 GrabCut 第 一 次 分 割 的 结果 上 进行 改进 ， 本 
文 算法 流程 图 如 图 4 所 示 。 


开始 一 一 "用 户 标记 | 一 一 一 
用 广西 框 | | 入 锯 非 胡 二 化 闫 至 二 
用 户 标记 方 图 进行 像素 点 的 分 
J 类 
K-Means 初 始 化 4 天 
高 图 的 构建 
学 习 新 的 高 斯 混 y 
pa | 
| 根据 maxflow 分 割 
图 的 构建 
了 
与 上 次 
根据 maxflow 分 割 和 迭代 结果 差 


值 乏 2% 


已 
下 


图 4 改进 算法 流程 图 
Fig.4 Flow chart ofimprove algorithm 


3 ”实验 结果 对 比分 析 


实验 平台 为 : Windows 10 EDU， Microsoft Visual Studio 
2017, OpenCYV 3.3.0。 
3.1 主观 评价 对 比 

为 了 验证 本 文 所 提 方 法 的 正确 性 和 有 效 性 ， 选 取 公开 标 
准 数据 集 MSRA1000 中 的 部 分 图 片 进行 测试 ,将 视觉 效果 作 
为 主观 评价 时 的 评价 标准 。 实 验 结果 如 图 5 所 示 ， 图 像 的 编 
号 从 上 至 下 依次 为 1~6，(a) 为 原 图 ，(b) 为 GrabCut 算法 达到 
收敛 时 的 分 割 结果 ，(c) 为 本 文 算法 达到 收敛 时 的 分 割 结果 。 
本 文 设 定 当 两 次 的 分 割 结果 的 差 值 小 于 2% 时 ， 此 时 的 迭代 
分 割 结果 达到 最 优 ， 即 认为 此 时 收敛 。 
通过 分 割 结果 可 以 看 出 ， 本 文 算法 分 割 结果 在 视觉 效 
上 与 GrabCut 算法 基本 一 致 ， 但 本 文 算法 在 图 像 分 割 的 精 
上 有 较 好 的 效果 。 从 第 1 幅 图 像 中 间 运 动员 头 部 、 第 3 
像 花 中 间 部 位 、 第 5 幅 图 像 鸟 腿 部 中 间 等 细节 可 以 看 出 ， 
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文 算法 的 分 割 结果 更 好 。 


he? 


(a) 原 图 


(a) Original image 
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(0c) 改进 算法 


(c) Improve algorithm 


图 5 实验 结果 


Experimental result 


Fig. $ 
3.2 客观 评价 对 比 
为 了 客观 评价 算法 的 分 割 效果 ， 进 一 步 验证 本 文 方法 的 
有 效 性 ， 对 图 像 分 割 质 量 进行 定量 分 析 。 通 过 比较 图 像 分 割 
结果 的 召回 率 (recall) 和 准确 率 (precision ) 0748 以 及 
F-measurel1 作 为 衡量 图 像 分 割 的 优 和 劣 的 评价 指标 ,根据 文献 
[11,17,18]， 准 确 率 、 召 回 率 和 F-Measure 定义 公式 如 式 
(11)~(13) 所 示 。 根 据 公式 计算 图 像 分 割 的 准确 率 、 召 回 率 和 
-measure 的 结果 如 图 6 所 示 。 
DGi(x,y)Bi(x, y) 


precision = ne (11) 
Ge) 
DGi(x,y)Bi(x,y) 
1 = 0) 
reca. Srey) (12) 
(5y) 

其 中 :G1 为 真 值 图 像 (ground truth ) ，Bi 为 算法 分 割 后 的 二 

值 图 像 。 
AI 2.precision:recall (13) 


precisiont+recall 


F 面 在 对 图 像 分 割 质量 进行 定量 分 析 的 同时 ， 还 对 图 像 
的 分 割 效率 进行 对 比分 析 。 对 GrabCut 算法 和 本 文 算法 达到 
收敛 时 所 消耗 的 时 间 和 迭代 次 数 进行 对 比 ,结果 如 表 1 所 示 。 


普 -A ; 一 上 甘 口 工 | 
人 1 XX 1 一 1 日 口 十 | 


ol IOANIV ] 1 | | J 


录用 定稿 孔 显 ， 等 : 基于 非 归 一 化 直方 图 的 GrabCut 图 像 分 割 算 法 改进 第 37 卷 第 5 期 
” 095 x、 
| 
0.95 Sr 人 0.8 i 
Se PC 
Ww 0.55 
* 0.5 
Da 0.45 0.45 
一 一 本 文 算法 04 | [本 文人 法 04 | [ 记 E 本 文 算法 
Grabout 0.35 | [rabeut 0.35 | | orapeut 
| 国人 (编号 | l ey 全 像 ( 编 )， 
(a) 准确 率 (b) 召回 率 (c) F-measure 
(a) Accuracy (b) Recall rate (c) F-measure 
图 6 分 析 结 果 
Fig.6 Analysis result 
表 1 收敛 时 花费 时 间 及 次 数 
Table 1 Convergence takes time and frequency 
时 间 /ms 迭代 次 数 /次 
GrabCut 本 文 算法 GrabCut 本 文 算法 
1 8979 2688 4 2 
2 6122 2992 3 2 
3 5439 3360 3 2 
4 6848 3629 3 2 
5 5842 3131 2 2 
6 6991 2927 3 2 
从 图 6 中 可 以 看 出 ， 本 文 算法 分 割 结 果 的 召回 率 、 准 确 
率 以 及 F-measure 值 较 GrabCut 算 法 相 比 ,准确 率 高 3.133%、 
召回 率 高 3.112%、F-measure 值 高 2.98%; 本 文 在 进行 时 间 
效率 对 比 时 ， 仅 计算 了 算法 的 运行 时 间 ， 没 有 包含 人 工 标记 
时 间 ， 从 表 1 中 计算 得 出 ， 时 间 效 率 提 升 119%; 和 迭代 次 数 
更 少 。 结果 表明 , 提高 了 GrabCut 算法 的 分 割 结 果 和 分 割 效 
率 ， 达 到 了 改进 的 目的 。 一 
为 了 进一步 验证 本 文 算法 在 背景 复杂 的 前 提 下 ， 较 原 算 (a) 原 图 (b)GrabCut (c) 改 进 算法 
法 相 比 能 获得 更 符合 人 类 视觉 的 分 割 效果 。 选 取 了 较为 复杂 (a) Original image (b)GrabCut (c) Improve algorithm 
的 建筑 图 片 以 及 标准 数据 集 BSDS300 中 的 图 片 进行 实验 对 和 7 ”复杂 图 像 测试 
比分 析 ， 第 一 幅 图 片 选取 背景 较为 复杂 的 古 建筑 开封 铁塔 ; Fig.7 Complex image Testing 
第 二 幅 图 像 为 古 建筑 大 相国 寺 ， 第 三 幅 图 像 为 测试 红 绿 色盲 参考 文献 ; 
的 颜色 图 像 ;第 四 幅 图 像 以 标准 数据 集 BSDS300 中 的 图 片 国 
行 测试 ; [1] Jia Zhipeng, Huang Xingyi, Chang E IC, et al. Constrained deep weak 
实验 结果 如 图 7 所 示 ， 其 中 : (a) 为 原 图 ， (b) 为 GrabCut supervision for histopathology image segmentation [J]. IEEE Trans on 
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